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Обобщение процедуры клиппирования 
в задачах оптимизации в дискретном 

* 
пространстве 


Исследована возможность применения процедуры клиппирования в задаче оптимизации квадратичного 
функционала Е= (х, Ах) С Показано, что непосредственное применение процедуры клиппирования не 


дает особого выигрыша в ускорении работы алгоритма при поиске глобального минимума. Предложена 
модификация процедуры клиппирования с параметром 4 (число градаций). Показано, что с увеличением 


4 вероятность совпадения направления градиентов Е (х) и его клиппированного аналога Ё’, (х) = (х, Сх) 
возрастает до 1. 


Введение 


Впервые замена матрицы А на клиппированную матрицу С исследовалась в 
задачах распознавания образов [1], [2]. Были получены аналитические оценки емкости 
нейросетевой памяти и ее распознающей способности. Эти исследования были про- 
должены в [3-5], основные результаты которых приведены ниже: 


— уменьшение энергии Ес (х) клиппированной сети Хопфилда при переходе из одного 


состояния в другое сопровождается уменьшением энергии Е (х) исходной сети; 


— быстродействие алгоритма, основанного на использовании клиппированной матри- 

цы, в 40 раз превышает быстродействие алгоритма, основанного на использовании 

нейронной сети Хопфилда; 

— приблизительно во столько же раз уменыпаются требования к оперативной памяти. 
На основе этого в [6], [7] было предложено использование процедуры клиппи- 

рования при решении задач оптимизации. В работе предложен модифицированный 

алгоритм клиппирования, позволяющий ускорить поиск глобального минимума. 


Применение традиционной процедуры клиппирования 


Поиск глобального минимума квадратичного функционала Ё = (х, Ах) в дискрет- 


ном бинарном пространстве заключается в многократном применении стандартной 
Хопфилдовой процедуры оптимизации, т.е. проведении серии «спусков» по энергети- 
ческой поверхности Е(х) из начальных состояний {х в конечные 1, переходы 


{х } > {х. }. Отбор наиболее глубокого минимума проводится в ходе серии спусков. 
При использовании клиппированного функционала процесс поиска разбивается на 
2 этапа, переходы {х} > [х,} -> [х,!. Найденные на 1-м этапе, локальные минимумы 


{х, функционала Ес (х) становятся исходными стартовыми при минимизации функ- 


ционала А (х) на 2-м. 
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Для определения эффективности такого подхода было проведено компьютер- 
ное моделирование, в ходе которого генерировалась матрица А размерности 100 со 
случайным равномерным распределением элементов и вычислялся ее клиппиро- 
ванный аналог — матрица С. Для каждой конфигурации нейронной сети проводи- 
лось 200 000 стартов из состояний, задаваемых вектором х, компоненты которого 
генерировались случайным образом. В ходе эксперимента для каждого «спуска» опре- 
делялся объем вычислений и фиксировалась энергия локального минимума. 

На рис. |1 представлены результаты сравнения двух методов оптимизации — 
стандартного и с применением клиппирования. По оси абсцисс отложена «энергия» 


& = (Е, —Е )/ Е, , где Е, — энергия глобального минимума, Ё — энергия полученного 
локального минимума функционала Ё = (х, Ах). По оси ординат отложена плотность 


вероятности нахождения минимума. 
Кривая | — отображает распределение по «энергиям» = исходных стартовых 


состояний {х | 

Кривая 2 — характеризует распределение состояний т полученных при 
оптимизации клиппированного функционала ЕЁ’. (х), т.е. переходы {х} > {х |. 

Кривая 3 — определяет распределение {х, > (1 после коррекции состояний 
сетью Хопфилда на втором этапе. 

Кривая 4 — соответствует распределению по «энергии» = при переходах 
{% } > {х, | используя сеть Хопфилда. 

Из рис. 1 видно, что использование клиппированной сети действительно смещает 
распределение состояний по «энергиям» = на 0,7 по сравнению с исходным {х И 


Несмотря на такой сдвиг, объем вычислений уменьшился незначительно. Конечное 
распределение с использованием двухэтапного алгоритма близко к распределению с 
использованием стандартной нейронной сети Хопфилда. Одинаковы и вероятности 
попадания в глобальный минимум, равные = 0,006. Для увеличения скорости работы 


2-этапного алгоритма поиска более глубоких минимумов и был предложен модифи- 
цированный алгоритм клиппирования. 


0,4 0,6 


"Энергия", = 


Рисунок 1 — Сравнение двух методов оптимизации: на основе сети 
Хопфилда и метода, использующего клиппированную сеть 
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Применение модифицированной процедуры 
клиппирования при поиске глобального минимума 


Модификация процедуры клиппирования заключается в следующем. Каждому 
элементу матрицы связей А нейронной сети Хопфилда сопоставляется элемент 
матрицы С по формуле: 


С, = ТА зв, )- помпа (а ны /2)-| А» ], (1) 


(1+1/2) 
где 4 - число градаций, больше нуля. Функция $2п дает знак числа, а функция гоипа 


производит округление до ближайшего целого. 
Будем анализировать корреляцию градиентов Н, и НС, т.е. исходного функцио- 


нала Е (х) и клиппированного Ё. (х) ‚ которые имеют вид: 
Н, =А-х, (2) 
Н. =С.-х=А.х+и.В.х. (3) 
Величина д =1/ (24 + 1) характеризует степень огрубления. Второе слагаемое в (3) 
характеризует остаток, получаемый от огрубления элементов А. В - матрица с рав- 
номерным случайным распределением элементов в диапазоне В Г 1], а каждая ком- 
понента вектора (В,х) ведет себя как случайная величина, имеющая Гауссово рас- 
пределение (№ >> 1. Вычислим вероятность совпадения направления полей Р, т.е. 
совпадение по знаку каких-то компонент векторов Н\ и Нс: 
Р=РН,.Не>0]. (4) 
Элементы исходной матрицы А равномерно распределены с нулевым средним 
а и дисперсией с (а). 
С учетом выражений (2) и (3) можно показать, что математическое ожидание и 
дисперсия величин Н\/ и Н. описываются выражениями: 


Н, =0, о?(Н,)= по" (а); (5) 
Н‹=0, о?(Н.)=(-и?)-о?(Н,); (6) 
Не.Н,=о"(Нс). (7) 
С учетом выражений (5) — (7) коэффициент корреляции р градиентов Н, и Не 
будет равен: 
Н..Не-Н,-Нс ры 
м 1-12. (8) 
о(Н, ®(Не ) 2 


Минимально достигаемое значение р = 0,944 соответствует а = ии = 13. 
В свою очередь, вероятность совпадения направления полей Р’ определяется как: 


. р | 
РКН.-Нс Я я ООО (9) 
Ре ин-т] д На [Нее , 


0(Н.) 0(Нс) (Не) 
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Вычисление этого двойного интеграла возможно только численно. Результаты 
расчета приведены на рис.2. 


1,05 


0,8 0,85 0,9 0,95 1 1,05 
Коэффициент корреляции, р 


Рисунок 2 — Вероятность совпадения градиентов клиппированного и исходного 
функционалов в зависимости от коэффициента корреляции 


На основании вычислений формулы (9) вероятность совпадения градиентов 
можно приближенно оценить по формуле (10), справедливой при значениях коэффи- 
циента корреляции р, близких к 1: 


Ри) 1-5. (10) 


Из приведенного на рис. 2 графика, формул (9) и (10) следует, что локальные 
градиенты исходного и клиппированного функционалов с большой вероятностью 


совпадают (Р > 0,894) . С ростом числа градаций 4 (уменьшение д) эта вероятность 
возрастает и стремится к 1. Поскольку процесс оптимизации заключается в после- 
довательном перевороте всех № спинов модели Хопфилда, то становится очевидным, 
что с ростом размерности задачи (№ >> 1) асимптотически стремится к нулю вероят- 
ность того, что в процессе оптимизации функционала энергия Е повысится. 


Стандартный метод клиппирования Модифицированный метод, 4 = 1 


РКНАНс>0), % 


РИНАНс>0), % 


0 200 400 600 800 1000 1200 0 200 400 600 800 1000 1200 
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Рисунок 3 — Вероятность совпадения градиентов при использовании обычной (слева) 
и модифицированной (справа) процедуры клиппирования 
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Для проверки полученных результатов было проведено компьютерное моделиро- 
вание. На рис. 3 представлены экспериментальные данные о вероятности совпадений 
градиентов Н) и Н. в случае применения обычной процедуры клиппирования (слева) 
и его модификации при 4 =1 (справа). Для этого случайным образом выбиралась 
точка х, (кривая 1), из которой сеть Хопфилда с клиппированной матрицей межсвязей С 
конвергировала в ближайший локальный минимум х, (кривая 2). Точка минимума х, 
получена после коррекции состояний стандартной сетью Хопфилда (кривая 3). В этих 
точках х,,х,,х, определялось соответствие направлений векторов Н) и Н.с. По оси 


ординат отложена размерность сети, для которой проводились измерения. 

Полученные результаты экспериментов точно согласуются с теорией. Так, изме- 
ренная экспериментально вероятность совпадения градиентов для модифицирован- 
ного метода при 4 =1 дает Р= 0,892 (справа, кривая 1), в то же время расчетное 


значение составляет Р = 0,896. 

Сопоставление экспериментальных данных на этих же рисунках показывает пре- 
имущество модифицированного метода клиппирования. 

1. В случайно выбранных точках старта вероятность совпадения для модифи- 
цированного метода составляет Р = 0,892, в то время как для исходного — Р= 0,835. 

2. В точках минимума клиппированной сети вероятность слева составляет 
Р=0,938 , справа — Р = 0,971. 

3. Соответственно в точках минимума стандартной сети слева получаем 
Р =0,945 ‚ а справа — Р=0,975. 

Полученные результаты не зависят от размерности сети. 

На рис. 4 показано соотношение между «энергиями» минимумов клиппированной 
сети и стандартной сети Хопфилда для различных значений параметра 4. Для этого 


выбиралась случайным образом точка х,, из которой сеть Хопфилда с матрицей меж- 
связей С(а) конвергировала в ближайший локальный минимум х,„. Рассчитывались 
значения Е (х,) и клиппированного Ё’ (х„) функционалов и далее приведенные значе- 


ния «энергий» &. 

Видно, что с увеличением параметра 4 область пропорциональной зависимости 
становится все больше, ее граница становится ближе к началу координат. Это означает, 
что с ростом параметра 4 область соответствия «глубже клиппированный минимум — 
глубже минимум стандартной сети» все больше приближается к глобальному минимуму. 


0,25 


0,209 те ЕЕ 


Е В ан! 


"Энергия" сетихХопюрилеу 


0.05 — Е аа 
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Рисунок 4 — Соотношение между «энергиями» минимумов клиппированной сети и 
стандартной сетью Хопфилда для различных значений параметра 4 
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На рис. 5 представлены распределения состояний по энергии для разного числа 
градаций, полученные после первого этапа оптимизации (процедура 4 -клиппирования). 
Видно, что с увеличением величины 4 распределение смещается влево, тем самым при- 


ближая нас к глобальному минимуму и уменьшая путь, который необходимо проделать 
стандартной сети Хопфилда на 2-м этапе. Стоит отметить, что модификация процедуры 
клиппирования не изменила вероятности нахождения глобального минимума. 


0,00 0,05 0,10 0,15 0,20 0,25 0,30 


по энергиям 


Распределение состояний 
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Рисунок 5 — Распределение состояний по энергии для разного числа градаций 


Применение модифицированного 
алгоритма клиппирования 


Основной объем вычислений при расчетах нейронной сети Хопфилда приходится 
на вычисление градиентов, т.е. на операции умножения матрицы на вектор. Для матриц 
высокой размерности М -- 10° —10* используется 10-байтное представление чисел для 
получения необходимой точности вычислений. Представление матрицы межсвязей 
нейронной сети с помощью чисел укороченной разрядности позволяет ускорить вычи- 
слительный процесс. Так, если сложение 2-х 10-байтных чисел требует 1-го такта про- 
цессорного времени, то для сложения 2-х десятимерных векторов, компоненты которых 
1-байтные числа, потребуется времени меньше 1 такта. Кроме того, загрузка операндов 
из памяти в регистры процессора также требует времени, сопоставимого со временем 
выполнения операции. Поэтому «эффективное» время выполнения 1-байтовой опера- 
ции в —15 раз меньше, чем 10-байтовой. 

Идея модификации заключается в применении целых чисел в одно- и двухбайт- 
овом представлении для матричных элементов. Соответственно этому и был построен 
алгоритм спуска по «энергетической поверхности», который состоит из 3-х этапов, 
когда локальный минимум, полученный на текущем этапе, являлся начальным прибли- 
жением для следующего этапа. На первом и втором этапах использовалась модифи- 
кация клиппирования с числом градаций 4 =2 + 64 на 1-м (однобайтные операции) и 
4> 255 на 2-м (двухбайтные операции). Для коррекции состояний на третьем этапе 
использовалась стандартная сеть Хопфилда. 

Ускорение вычислительного процесса зависит от числа градаций 40, выбран- 
ного на первом этапе. На втором этапе число 4 может быть выбрано максимально 
большим 4 > 2048. 
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Для определения оптимального значения а на 1-м этапе и соответственно вели- 
чины ускорения алгоритма 09 был проделан вычислительный эксперимент. На каждом 
этапе оптимизации функционала определялось число итераций при попадании в локаль- 
ный минимум, которое пропорционально объему вычислений. При этом фиксировалось 
количество шагов при «спуске» с использованием исходной сети Хопфилда. 

Результаты вычислительного эксперимента приведены на рис. 6 и в табл. 1. 
Ускорение 9 работы алгоритма определяется формулой (11): 


151) 


— 19 +210 +1010’ 
где /“” - количество итераций, используя стандартный метод Хопфилда; 
[® — количество итераций на первом этапе (однобайтная арифметика); 
[®) — количество итераций на втором этапе (двухбайтные вычисления); 
[9 — количество итераций на этапе коррекции алгоритма стандартным методом 
Хопфилда. 

На рис. 6 приведено соотношение между числом итераций, затрачиваемых на раз- 
ных этапах модифицированного алгоритма клиппирования по отношению к числу ите- 
раций, затрачиваемых стандартным методом. 
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Рисунок 6 — Количество шагов на каждом этапе алгоритма 
в зависимости от размерности матрицы нейронных связей А 


Видно, что на первом этапе /“ / 1“) = 1. Это соотношение не зависит от выбора 4“, 
количество итераций на 2-м и 3-м этапах зависит от значения величины градаций на 1-м 
этапе: /2) / 1 =0,3,а 1/1" =0,05. Количество итераций на 2-м этапе не зависит 
от величины градаций. 

[Р 1 
Быстродействие алгоритма зависит от выбора параметра 4“), применяемого на 


первом этапе. При увеличении числа градаций на 2-м этапе число шагов на этапе 
коррекции положения минимума исходной нейронной сетью сокращается до 1. Поэто- 


му на втором этапе должно быть выбрано а®) > 2048 и 3-й этап коррекции может 
оказаться ненужным. 


Таблица 1 — Ускорения алгоритма по сравнению со стандартным методом 
Хопфилда в зависимости от значений параметра 4 


Размерность сети М№М= 256 
Число градаций, 4 Ускорение алгоритма, 9 
2 3,3 
4 4,3 
8 7,9 
12 10,3 
15 11,2 
32 6,4 
64 3 
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В табл. | приведены результаты ускорения алгоритма по сравнению со стандарт- 
ным методом Хопфилда в зависимости от значений параметра 40. Результаты полу- 


чены на матрице размерности М = 256 и 42) = 255 (наихудший вариант). Видно, что 


оптимум функции 0(а) более 10 раз достигается при а® = 10-15. Для расчета величины 
ускорения алгоритма по формуле (11) использовались данные, приведенные на рис. 6. 


Заключение 


Вероятность нахождения глобального минимума не зависит от числа градаций 
и та же, что и при использовании сети Хопфилда. 

Модификация процедуры клиппирования матрицы нейронных связей позволя- 
ет ускорить вычислительный процесс более чем в 10 раз. 

Найдены оптимальные значения числа градаций на каждом этапе работы алго- 


ритма: 94° =12, 42) > 2048. Результаты подтверждены для матриц размерности 
М = 64 -10240. 
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М.В. Крижановський, М.Ю. Мальсагов 

Узагальнення процедури клшування у задачах оптим!зацй у дискретному простор! 

Дослджено можливсть застосування процедури клшування в задач! оптим1заци квадратичного функ- 
ционала Ё = (х, Ах) . Показано, що безпосередне застосування процедури клшування не дае особливого 
виграшу в прискоренн! роботи алгоритму при пошуку глобального мимуму. Запропоновано модификащю 
процедури клшування з параметром 4 (число градаций). Показано, шо 31 зльшенням 4 можливсть сшв- 


падання напрямку граденив Ё (х) та його клшованого аналога Ё’, (х) = (х, Сх) зростае до 1. 


М.У. Ктузйапоу5Ку, М.О. Мабазгоу 
СепегаН7аНоп оЁ СИррше Ргоседиге ог Орйпитайоп РгоШет$ ш О1бсгее расе 
Сара Щу оРизте сПррие ргоседиге ог ргоМет оРорипиайоп диадгайс КпсНопа! Ё = (х, Ах) уаз гезеагсвед. 


[ 15 ЗПо\п аррИсаноп оЁ сПрршз ргоседиге 4оезп”{ уе зрес1а] БепейЕ ш асс@еганоп оЁ >1оба] пшипа 
зеагсь а]еогит. Мофйсайоп оЁ сПррше ргоседиге ул рагатеег а (фе питбег оё отадайоп) ууаз зассе$ед. 


[4 1$ зпо\уп ргоба у оЁ сопрапсНоп оЁ эта41еп{5 тесйоп$ ЕЁ (х) апа 1$ сПрре4д апаюзие Е. (х)= (х, Сх) 
га1зе о | у шсгеазте оЁ 4. 


Статья поступила в редакцию 20.05.2009. 
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